Sinh ngày 18 tháng 11 năm 1856 và được đặt tên là Nikolay Nikolayevich, tên của ông vốn là sự kết hợp từ tên của cha và ông nội Sa hoàng Nikolay I của Nga. Là con trai đầu lòng của Đại vương công Nikolai Nikolaevich và Nữ đại công tước Alexandra Petrovna của Oldenburg, cha ông là con thứ của Nikolay I vì vậy từ khi sinh ra Nikolay Nikolayevich không có cơ hội trong hàng kế vị ngai vàng Nga. Vào năm 1868 sự chào đời của người anh họ Nikolay Aleksandrovich (sau là Nikolay II của Nga) đứng thứ 2 trong hàng kế vị, mặt dù ông lớn hơn Nikolay Aleksandrovich đến 12 tuổi nhưng xét trên quan hệ họ hàng ông vẫn là em trai họ của Nikolay Aleksandrovich, do cả hai có cùng tên giống nhau, Nikolay Nikolayevich thường được gia đình gọi là Nikolasha.[5][6]